De abdij van Florival werd volgens de legende gesticht in de 11de eeuw toen een kloostergemeenschap een stem hoorde die hen opdroeg een bijzonder bloemrijke plek te zoeken om zich daar te vestigen. Toen ze een vallei vol bloemen vonden bouwden ze er hun abdij en noemden haar Florival. De abdij werd bewoond door monniken van de orde van Cîteaux. 
In de zestiende eeuw werd een deel van haar gebouwen geplunderd en in brand gestoken door Spaanse troepen. In 1794 maakten Franse revolutionaire troepen zich meester van de Oostenrijkse Nederlanden wat het einde betekende van de orde van Citeaux, de eigendommen van de geestelijkheid werden in beslag genomen en de abdij werd in 1798  als nationaal bezit  verkocht aan de familie Cumont, de gebouwen deden dienst als vlasspinnerij. In 1854 werd de abdij zwaar beschadigd door brand en werd daarna opgekocht door de familie Oldenhove.
In opdracht van Jean-Auguste Oldenhove werd in 1875, op de plaats waar de abdijgebouwen stonden, het huidige kasteel gebouwd. In 1950 nam de Civiele Bescherming haar intrek in het kasteel. Sinds de Civiele Bescherming in 2016 uit de gebouwen trok staat het kasteel te koop.